home *** CD-ROM | disk | FTP | other *** search
/ EuroCD 3 / EuroCD 3.iso / Programming / Python1.4_Source / Parser / parsetok.c < prev    next >
C/C++ Source or Header  |  1998-06-24  |  4KB  |  189 lines
  1. /***********************************************************
  2. Copyright 1991-1995 by Stichting Mathematisch Centrum, Amsterdam,
  3. The Netherlands.
  4.  
  5.                         All Rights Reserved
  6.  
  7. Permission to use, copy, modify, and distribute this software and its
  8. documentation for any purpose and without fee is hereby granted,
  9. provided that the above copyright notice appear in all copies and that
  10. both that copyright notice and this permission notice appear in
  11. supporting documentation, and that the names of Stichting Mathematisch
  12. Centrum or CWI or Corporation for National Research Initiatives or
  13. CNRI not be used in advertising or publicity pertaining to
  14. distribution of the software without specific, written prior
  15. permission.
  16.  
  17. While CWI is the initial source for this software, a modified version
  18. is made available by the Corporation for National Research Initiatives
  19. (CNRI) at the Internet address ftp://ftp.python.org.
  20.  
  21. STICHTING MATHEMATISCH CENTRUM AND CNRI DISCLAIM ALL WARRANTIES WITH
  22. REGARD TO THIS SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF
  23. MERCHANTABILITY AND FITNESS, IN NO EVENT SHALL STICHTING MATHEMATISCH
  24. CENTRUM OR CNRI BE LIABLE FOR ANY SPECIAL, INDIRECT OR CONSEQUENTIAL
  25. DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR
  26. PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER
  27. TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION WITH THE USE OR
  28. PERFORMANCE OF THIS SOFTWARE.
  29.  
  30. ******************************************************************/
  31.  
  32. /* Parser-tokenizer link implementation */
  33.  
  34. #include "pgenheaders.h"
  35. #include "tokenizer.h"
  36. #include "node.h"
  37. #include "grammar.h"
  38. #include "parser.h"
  39. #include "parsetok.h"
  40. #include "errcode.h"
  41.  
  42.  
  43. /* Forward */
  44. static node *parsetok PROTO((struct tok_state *, grammar *, int,
  45.                  perrdetail *));
  46.  
  47. /* Parse input coming from a string.  Return error code, print some errors. */
  48.  
  49. node *
  50. parsestring(s, g, start, err_ret)
  51.     char *s;
  52.     grammar *g;
  53.     int start;
  54.     perrdetail *err_ret;
  55. {
  56.     struct tok_state *tok;
  57.  
  58.     err_ret->error = E_OK;
  59.     err_ret->filename = NULL;
  60.     err_ret->lineno = 0;
  61.     err_ret->offset = 0;
  62.     err_ret->text = NULL;
  63.  
  64.     if ((tok = tok_setups(s)) == NULL) {
  65.         err_ret->error = E_NOMEM;
  66.         return NULL;
  67.     }
  68.  
  69.     return parsetok(tok, g, start, err_ret);
  70. }
  71.  
  72.  
  73. /* Parse input coming from a file.  Return error code, print some errors. */
  74.  
  75. node *
  76. parsefile(fp, filename, g, start, ps1, ps2, err_ret)
  77.     FILE *fp;
  78.     char *filename;
  79.     grammar *g;
  80.     int start;
  81.     char *ps1, *ps2;
  82.     perrdetail *err_ret;
  83. {
  84.     struct tok_state *tok;
  85.  
  86.     err_ret->error = E_OK;
  87.     err_ret->filename = filename;
  88.     err_ret->lineno = 0;
  89.     err_ret->offset = 0;
  90.     err_ret->text = NULL;
  91.  
  92.     if ((tok = tok_setupf(fp, ps1, ps2)) == NULL) {
  93.         err_ret->error = E_NOMEM;
  94.         return NULL;
  95.     }
  96.  
  97. #ifdef macintosh
  98.     {
  99.         int tabsize = guesstabsize(filename);
  100.         if (tabsize > 0)
  101.             tok->tabsize = tabsize;
  102.     }
  103. #endif
  104.  
  105.     return parsetok(tok, g, start, err_ret);
  106. }
  107.  
  108. /* Parse input coming from the given tokenizer structure.
  109.    Return error code. */
  110.  
  111. static node *
  112. parsetok(tok, g, start, err_ret)
  113.     struct tok_state *tok;
  114.     grammar *g;
  115.     int start;
  116.     perrdetail *err_ret;
  117. {
  118.     parser_state *ps;
  119.     node *n;
  120.     int started = 0;
  121.  
  122.     if ((ps = newparser(g, start)) == NULL) {
  123.         fprintf(stderr, "no mem for new parser\n");
  124.         err_ret->error = E_NOMEM;
  125.         return NULL;
  126.     }
  127.  
  128.     for (;;) {
  129.         char *a, *b;
  130.         int type;
  131.         int len;
  132.         char *str;
  133.  
  134.         type = tok_get(tok, &a, &b);
  135.         if (type == ERRORTOKEN) {
  136.             err_ret->error = tok->done;
  137.             break;
  138.         }
  139.         if (type == ENDMARKER && started) {
  140.             type = NEWLINE; /* Add an extra newline */
  141.             started = 0;
  142.         }
  143.         else
  144.             started = 1;
  145.         len = b - a; /* XXX this may compute NULL - NULL */
  146.         str = NEW(char, len + 1);
  147.         if (str == NULL) {
  148.             fprintf(stderr, "no mem for next token\n");
  149.             err_ret->error = E_NOMEM;
  150.             break;
  151.         }
  152.         if (len > 0)
  153.             strncpy(str, a, len);
  154.         str[len] = '\0';
  155.         if ((err_ret->error =
  156.              addtoken(ps, (int)type, str, tok->lineno)) != E_OK)
  157.             break;
  158.     }
  159.  
  160.     if (err_ret->error == E_DONE) {
  161.         n = ps->p_tree;
  162.         ps->p_tree = NULL;
  163.     }
  164.     else
  165.         n = NULL;
  166.  
  167.     delparser(ps);
  168.  
  169.     if (n == NULL) {
  170.         if (tok->lineno <= 1 && tok->done == E_EOF)
  171.             err_ret->error = E_EOF;
  172.         err_ret->lineno = tok->lineno;
  173.         err_ret->offset = tok->cur - tok->buf;
  174.         if (tok->buf != NULL) {
  175.             int len = tok->inp - tok->buf;
  176.             err_ret->text = malloc(len + 1);
  177.             if (err_ret->text != NULL) {
  178.                 if (len > 0)
  179.                     strncpy(err_ret->text, tok->buf, len);
  180.                 err_ret->text[len] = '\0';
  181.             }
  182.         }
  183.     }
  184.  
  185.     tok_free(tok);
  186.  
  187.     return n;
  188. }
  189.